具有平均社会认知水平的人类可以仅根据非语言交流信号（例如，目光，手势，姿势和上下文信息）来推断他人的信念。这种预测人类信念和意图的社会认知能力对于确保安全的人类机器人互动和协作比以往任何时候都更为重要。本文使用了心理理论（TOM）和对象文本关系的结合知识来研究在禁止语言交流的环境中增强人与自主系统之间协作的方法。我们提出了一个新颖而富有挑战性的多模式视频数据集，用于评估人工智能（AI）系统在对象文化场景中预测人类信念状态方面的能力。所提出的数据集包括对人类信念的精确标记状态基地真实和​​多模式输入，这些输入复制了人类感知捕获的所有非语言交流输入。我们通过现有的深度学习模型进一步评估数据集，并提供有关各种输入模式和对象语言关系对基线模型性能的影响的新见解。

实际上，寻求帮助通常比搜索整个空间更有效，以找到一个未知位置的对象。我们提出了一个学习框架，该框架使代理商能够在此类具体的视觉导航任务中积极寻求帮助，其中反馈将其视为目标的位置。为了模仿老师可能并不总是在场的现实情况，我们提出了一项培训课程，而反馈并不总是可用。我们制定了目标的不确定性度量，并使用经验结果表明，通过这种方法，代理商将在没有反馈时保持有效的帮助，同时保持强大的帮助。

有时将儿童的认知能力视为AI基准。在自然主义儿童的环境中，如何学习最常见的1,000个概念（每天使用的89％）？儿童的认知发展是关于质量的，可以通过简单的例子传达新概念。我们的知识脚手架方法使用简单的对象和动作来传达概念，例如如何教授孩子。我们介绍了ABCDE，这是一种以典型的儿童游戏室为基础的交互式3D环境。它带有300多个唯一的3D对象资产（主要是玩具），以及一个宽敞的动作空间，可供孩子和父代理与对象互动。ABCDE是旨在模仿儿童认知发展的自然主义环境的第一个环境。没有其他环境通过学习者的互动来研究高级概念学习。可以在https://pypi.org/project/abcdesim/1.0.0/上找到模拟器

最近在计算机视觉和认知推理中的工作引起了越来越多地通过了违反了合成数据集中的预期（voe）范式。受婴儿心理学的启发，研究人员现在正在评估模型的标签场景的能力，只有预期的场景知识。然而，物理推理中现有的基于VOE的3D数据集主要提供似乎没有启发式或归纳偏差的视觉数据。物理推理的认知模型揭示婴儿创造了对象和互动的高级抽象表示。利用这一知识，我们建立了通过策划具有因果关系和规则的地面真理启发式标签的新型大型合成3D VoO数据集来研究体力学推理的基准。为了验证我们的数据集五个事件的物理推理，我们基准和分析人类性能。我们还提出了对象文件的物理推理网络（OFPR-NET），它利用DataSet的新型启发式机构来胜过我们的基线和消融模型。 OFPR-NET在学习替代物理现实方面也是灵活的，展示其能够在物理推理中学习普遍因果关系，以创建具有更好可解释性的系统。

最近在认知推理和计算机愿景中的工作在合成数据集中违反期望（voe）范式的违反期望（voe）范式的越来越受欢迎。研究人员在婴儿心理学中受到影响，研究人员已经开始评估模型的能力，以歧视预期和令人惊讶的场景，作为其推理能力的迹象。物理推理中现有的基于VOE的3D数据集仅提供视觉数据。然而，心理学家的现有认知模型揭示婴儿创造了对象和互动的高级抽象表示。关于这一知识，我们提出了禽兽：基于合成的3D VOE的数据集，呈现来自多个新型子类别的刺激，用于五种事件的物理推理。与现有工作相比，Avoe武装有抽象特征和规则的地面真理标签，增强到视觉数据，为物理推理任务中的高级符号预测铺平了道路。

精确预测物理交互结果是人类智能的关键组成部分，对于真实世界中的机器人安全和有效地部署是重要的。虽然存在基于视觉的直观物理模型，用于学习预测物理交互结果，而它们主要专注于根据从视觉输入或潜在空间提取的物理性质（例如质量，摩擦和速度）产生未来框架的短序列。然而，缺乏直观的物理模型，这些模型是在具有不同对象之间的多个交互的长物理相互作用序列上进行测试。我们假设在近似精神模拟期间的选择性时间关注有助于人类在物理相互作用结果预测中。通过这些动机，我们提出了一种新颖的方案：通过用跨度选择（PIP）通过精神模拟物理交互预测。它利用深度生成模型来模拟近似精神模拟，通过在采用跨度选择的形式以预测物理交互结果的形式中采用选择性的时间关注之前产生近似的物理相互作用。为了评估我们的模型，我们进一步提出了具有3D环境中的三个主要物理交互的长序列的大规模空间+数据集。我们的实验表明，PIP优于利用精神模拟的人类，基线和相关直观的物理模型。此外，PIP的跨度选择模块有效地识别指示对象之间的关键物理交互的帧，允许添加额外的解释性。

从“Internet AI”的时代到“体现AI”的时代，AI算法和代理商出现了一个新兴范式转变，其中不再从主要来自Internet策划的图像，视频或文本的数据集。相反，他们通过与与人类类似的Enocentric感知来通过与其环境的互动学习。因此，对体现AI模拟器的需求存在大幅增长，以支持各种体现的AI研究任务。这种越来越多的体现AI兴趣是有利于对人工综合情报（AGI）的更大追求，但对这一领域并无一直存在当代和全面的调查。本文旨在向体现AI领域提供百科全书的调查，从其模拟器到其研究。通过使用我们提出的七种功能评估九个当前体现的AI模拟器，旨在了解模拟器，以其在体现AI研究和其局限性中使用。最后，本文调查了体现AI - 视觉探索，视觉导航和体现问题的三个主要研究任务（QA），涵盖了最先进的方法，评估指标和数据集。最后，随着通过测量该领域的新见解，本文将为仿真器 - 任务选择和建议提供关于该领域的未来方向的建议。

Non-line-of-sight (NLOS) imaging aims to reconstruct the three-dimensional hidden scenes from the data measured in the line-of-sight, which uses photon time-of-flight information encoded in light after multiple diffuse reflections. The under-sampled scanning data can facilitate fast imaging. However, the resulting reconstruction problem becomes a serious ill-posed inverse problem, the solution of which is of high possibility to be degraded due to noises and distortions. In this paper, we propose two novel NLOS reconstruction models based on curvature regularization, i.e., the object-domain curvature regularization model and the dual (i.e., signal and object)-domain curvature regularization model. Fast numerical optimization algorithms are developed relying on the alternating direction method of multipliers (ADMM) with the backtracking stepsize rule, which are further accelerated by GPU implementation. We evaluate the proposed algorithms on both synthetic and real datasets, which achieve state-of-the-art performance, especially in the compressed sensing setting. All our codes and data are available at https://github.com/Duanlab123/CurvNLOS.

In this paper, we target at the problem of learning a generalizable dynamic radiance field from monocular videos. Different from most existing NeRF methods that are based on multiple views, monocular videos only contain one view at each timestamp, thereby suffering from ambiguity along the view direction in estimating point features and scene flows. Previous studies such as DynNeRF disambiguate point features by positional encoding, which is not transferable and severely limits the generalization ability. As a result, these methods have to train one independent model for each scene and suffer from heavy computational costs when applying to increasing monocular videos in real-world applications. To address this, We propose MonoNeRF to simultaneously learn point features and scene flows with point trajectory and feature correspondence constraints across frames. More specifically, we learn an implicit velocity field to estimate point trajectory from temporal features with Neural ODE, which is followed by a flow-based feature aggregation module to obtain spatial features along the point trajectory. We jointly optimize temporal and spatial features by training the network in an end-to-end manner. Experiments show that our MonoNeRF is able to learn from multiple scenes and support new applications such as scene editing, unseen frame synthesis, and fast novel scene adaptation.

In this paper, we propose a large-scale language pre-training for text GENeration using dIffusion modEl, which is named GENIE. GENIE is a pre-training sequence-to-sequence text generation model which combines Transformer and diffusion. The diffusion model accepts the latent information from the encoder, which is used to guide the denoising of the current time step. After multiple such denoise iterations, the diffusion model can restore the Gaussian noise to the diverse output text which is controlled by the input text. Moreover, such architecture design also allows us to adopt large scale pre-training on the GENIE. We propose a novel pre-training method named continuous paragraph denoise based on the characteristics of the diffusion model. Extensive experiments on the XSum, CNN/DailyMail, and Gigaword benchmarks shows that GENIE can achieves comparable performance with various strong baselines, especially after pre-training, the generation quality of GENIE is greatly improved. We have also conduct a lot of experiments on the generation diversity and parameter impact of GENIE. The code for GENIE will be made publicly available.